{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 6.0 本章概述\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "深度学习和最优化理论之间密切相关，又有所区别。\n",
    "\n",
    "给定一个模型，明确了损失函数，接下来最重要的就是求解。深度学习的目标是通过不断调整权重和偏差来最小化损失函数，并使模型在新数据上的表现尽可能地好。为了达到这个目标，深度学习需要研究最优化理论和梯度下降法。因为损失函数的复杂性，往往没有解析解，因此只能通过迭代逼近的方法，借助最优化算法来求解。在此过程中，又遇到了很多具体问题，因此延伸出来了以梯度下降法为首的各种变体。它们对得到模型的最优解至关重要，而且对训练的效率也起到了非常关键的作用。\n",
    "\n",
    "本章，咱们就先从深度学习与最优化理论的关系讲起，深入探究损失函数的性质，也就是凸性，然后过渡到最常用的最优化方法，详细了解梯度下降的原理过程，最后再熟悉它的各种变体。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "[Next 6-1 最优化理论和深度学习](./6-1%20最优化理论和深度学习.ipynb)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}
